Sách Nhất thống chí chép: huyện Kim Bảng từ đời Trần trở về trước gọi là Cổ Bảng thuộc châu Lỵ Nhân. Huyện Kim Bảng đời Trần thuộc lộ Thiên Trường. Từ năm Quang Thái 10 (1397) thuộc trấn Thiên Trường. Năm Quang Thuận 7 (1446) triều đình bỏ trấn dặt thừa tuyên, huyện Kim Bảng thuộc thừa tuyên Thiên Trường. Sau đó vài năm, năm Quang Thuận 10 (1469) vua Lê Thánh Tông cho đổi Thiên Trường thành Sơn Nam, Kim Bảng thuộc thừa tuyên Sơn Nam. Năm Hồng Đức 21 (1490), triều đình bỏ thừa tuyên đặt xứ, Kim Bảng thuộc xứ Sơn Nam. Năm Cảnh Hưng 2 (1741) Triều đình bỏ xứ, đặt lộ, chia Sơn Nam thành hai lộ: Sơn Nam Thượng và Sơn Nam Hạ. Huyện Kim Bảng thuộc Sơn Nam Thượng. Đời Tây Sơn (1788 - 1802) Kim Bảng thuộc trấn Sơn Nam Thượng. Năm Gia Long 3 (1804) huyện Kim Bảng thuộc trấn Sơn Nam. Năm Minh Mệnh 13 (1832), Triều đình thành lập tỉnh Hà Nội, Kim Bảng, phủ Lý Nhân thuộc tỉnh Hà Nội. Năm 1890, phủ Lỵ Nhân được tách ra lập thành một tỉnh riêng lấy tên là Hà Nam, huyện Kim Bảng thuộc tỉnh Hà Nam.[cần dẫn nguồn]

Sau năm 1975, huyện Kim Bảng thuộc tỉnh Hà Nam Ninh, gồm 20 xã: Ba Sao, Châu Sơn, Đại Cương, Đồng Hóa, Hoàng Tây, Khả Phong, Kim Bình, Lê Hồ, Liên Sơn, Ngọc Sơn, Nguyễn Úy, Nhật Tân, Nhật Tựu, Phù Vân, Tân Sơn, Thanh Sơn, Thi Sơn, Thụy Lôi, Tượng Lĩnh, Văn Xá.

Ngày 23 tháng 2 năm 1977, sáp nhập xã Ba Sao vào xã Khả Phong.[1]

Ngày 27 tháng 4 năm 1977, huyện Kim Bảng hợp nhất với huyện Thanh Liêm và thị xã Hà Nam thành huyện Kim Thanh[2].

Tuy nhiên đến ngày 9 tháng 4 năm 1981, huyện Kim Bảng được tái lập[3].

Ngày 10 tháng 1 năm 1984, chia xã Khả Phong thành hai xã Khả Phong và Ba Sao.[4]

Ngày 1 tháng 4 năm 1986, thành lập thị trấn Quế, thị trấn huyện lỵ huyện Kim Bảng trên cơ sở 15 ha diện tích của xã Kim Bình, 111,13 ha diện tích của xã Văn Xá và 62,05 ha diện tích của xã Ngọc Sơn.[5]

Ngày 12 tháng 8 năm 1991, tỉnh Hà Nam Ninh chia thành hai tỉnh Nam Hà và Ninh Bình, huyện Kim Bảng thuộc tỉnh Nam Hà[6].

Ngày 6 tháng 11 năm 1996, tỉnh Nam Hà lại chia thành hai tỉnh Hà Nam và Nam Định, huyện Kim Bảng thuộc tỉnh Hà Nam vừa tái lập.[7]

Ngày 25 tháng 9 năm 2000, các xã Phù Vân và Châu Sơn được sáp nhập vào thị xã Phủ Lý[8].

Huyện Kim Bảng còn lại 1 thị trấn Quế và 18 xã: Ba Sao, Đại Cương, Đồng Hóa, Hoàng Tây, Khả Phong, Kim Bình, Lê Hồ, Liên Sơn, Ngọc Sơn, Nguyễn Úy, Nhật Tân, Nhật Tựu, Tân Sơn, Thanh Sơn, Thi Sơn, Thụy Lôi, Tượng Lĩnh, Văn Xá.

Ngày 27 tháng 8 năm 2009, chuyển xã Ba Sao thành thị trấn Ba Sao.[9]

Ngày 23 tháng 7 năm 2013, xã Kim Bình và một phần xã Thanh Sơn được sáp nhập vào thành phố Phủ Lý.[10]

Huyện Kim Bảng có 2 thị trấn và 16 xã như hiện nay.